[セッションレポート]NASDAQ：ミッションクリティカルで低レイテンシーのワークロードをAWSに移行する (FSI312) #reInvent

AWS認定トレーニング講師の平野@おんせん県おおいたです。

今日は「Nasdaq: Moving mission-critical, low-latency workloads to AWS」というタイトルのセッションについてレポートします。

セッション紹介

世界の資本市場のために次世代のクラウド対応インフラを構築するというミッションの一環として、Nasdaqは米国初のオプション市場であるNasdaq MRXを、超低遅延ニーズに合わせて共同で設計したAWS Outpostsで利用できるエッジコンピュート機能を使ってクラウドへ移行しようとしています。本セッションでは、NasdaqがどのようにAWS Outpostsをアーキテクチャに統合し、50カ国以上の取引所テクノロジーの顧客が自身のクラウド移行を加速するための青写真を作成したかを探ります。AWS Outpostsで低遅延マルチキャストを使用し、アプリケーションのネットワーク決定性と公平性を維持する方法を学びます。

オンデマンド動画

概要

NASDAQでは11/7にAWS Outpostsを利用したMRXプラットフォームの稼働を開始しました。

AWS Outposts rack

AWS Outposts rack はラック単位で提供されるAWSのエッジサービスです。

• 標準の42Uラック
• AWSによる設置
• 集中型再充電電力変換装置
• 冗長化されたアクティブコンポネント

• ロック可能なドア付き密閉型ラック
• タンパー検知機能搭載
• Outposts rack上のデータは暗号化

Outposts rack のセキュリティ

• ロック可能なドア付き密閉型ラック
• タンパー検知機能搭載
• Outposts rack上のデータは暗号化

• 取り外し可能/破壊可能なセキュリティーキーをサーバー毎に設置
• AWSリージョンとの暗号化されたネットワーク接続
• Outposts rack設置場所の物理的セキュリティは顧客側の責任

• セキュリティーキーは取り外し可能
• ラックを廃棄する際には、鍵を破壊することでセキュリティを確保

Outpostsを利用した基本構成

• OutpostsをNASDAQデータセンターに設置
• Direct ConnectでAWSに接続
• Outpostsのオレンジ矢印はAWSのネットワーク
• ブルーの矢印はNASDAQのネットワーク

Outpostsを利用した超低遅延構成

• NASDAQのMRXでは超低遅延のOutpostsを利用（特別にチューニングしたもの）
• ベアメタルを利用（ハイパーバイザーがないということ）
• ネットワークはローカルゲートウェイを完全にバイパスし、EC2インスタンスの超低遅延NICに直接接続
• 超低遅延NICは交換に必要な高精度の時間を得るために1TPSのフィードを取る
• Outposts内のネットワークケーブルはすべて同じ長さ
• インスタンスファミリーは、AWSで完全にサポートされている
• AMI全く同じ方法で構築し、全く同じ方法で起動することができる
• 同じ方法でモニターすることができる
• システムマネージャー、オートスケーリンググループ、ホストグループなど、同じように使用することができる

超低レイテンシー構成のロードマップ

• インテルSapphire Rapidsの対応
• ラックの密度を高めるため、電力を15KVから30KVに引き上げ
• CPUの密度を高め、各EC 2インスタンス内のコアをさらに増やす
• NUMAとの親和性を高め、ベアメタルネットワークを向上

アーキテクチャ: 静的安定性

• AWSとのネットワーク接続が切れても安定的に運用できるようにする
• コントロールプレーン無しに、動作する
• 長寿命のSSL証明書
• AWSのサービスを非常に注意深く利用。今回は基本的にEC2のみを利用

アーキテクチャ: 障害ドメイン

• 物理サーバー故障を想定した設計
• 各ラックにホットスペアを準備
• 複数のOutpostsを論理Outpostsとして利用
• すべてのシステムコンポーネントをA/Bペアとして冗長化
• それらのコンポーネントは異なるラックにアサイン

アーキテクチャ: セカンダリーサイト

• DR環境を異なるNASDAQデーターに準備
• DRのためOutpostsも分離
• AWSリージョンも異なるものに

運用モデル

• 重要なシステムの運用を見直す
• PXEイメージからAMIへの移行
• GitLabとTerraformによる自動化
• デプロイメントターゲットのためのDedicated Hosts
• ハードウェアのライフサイクル
• テスト、テスト、テスト...そしてさらにテスト
• AWSのサポートによる "ゲームデイ "シナリオのためのドリル

AWSとのコラボレーションのココまでの流れ

このプロジェクトは、2018年、Outpostsがリリースする前から進めてきました。 そして今年11月7日にMRXを小さなシンボルセットで最初の立ち上げました。12月5日には残りのすべてのシンボルを切り離して、このプラットフォームで完全にライブとなる予定です。

まとめ

NASDAQのAWS Outpostsの活用についてのセッションを紹介しました。ご興味があれば上記のリンクよりセッション動画をご覧ください。